AI가 코드를 대량 생성하는 시대에는 프롬프트로 모델의 행동을 통제하는 '행동적 게이트'만으로는 치명적인 보안 버그를 막기 어렵습니다. 이 글은 코드가 원하는 규칙을 위반하면 컴파일이나 테스트 자체가 실패하도록 구조를 짜는 '구조적 게이트(정형 검증)'를 제안하며, 이를 위해 Shen이라는 정적 타입 언어 기반의 'Shen-Backpressure' 도구를 소개합니다.
모질라는 앤스로픽의 클로드(Claude) 모델을 활용한 자율형 AI(agentic AI) 파이프라인을 구축해 파이어폭스 150에서 271개의 미확인 보안 취약점을 찾아내고 수정했습니다. 기존 AI 모델들이 가짜 버그를 양산하는 문제를 해결하기 위해, 이번 시스템은 AI가 직접 테스트 케이스를 작성하고 실행하여 버그의 실제 존재 여부를 검증하는 방식을 도입했습니다. 이를 통해 최대 20년 된 고질적 취약점까지 발견되었으며, 모질라는 향후 모든 신규 코드에 이 파이프라인을 자동 적용할 계획입니다.
이 글은 100개 이상의 AI 코딩 에이전트(Claude)를 병렬로 실행하여 대규모 엔드투엔드(E2E) 테스트를 수행하는 새로운 소프트웨어 테스트 방법론을 소개합니다. AI가 튜토리얼을 기반으로 자동으로 테스트 코드를 생성하고 실행, 디버깅, 수정하는 과정을 거치며, 이를 통해 테스트 자동화의 병목 현상을 해결할 수 있습니다. 개발 실무 관점에서 다수의 에이전트를 활용해 테스트 커버리지와 개발 효율성을 극대화하는 중요한 사례입니다.